GST-Bench: Can VLMs Develop Global Spatial Awareness from Video?
GST-Bench:评估 VLM 从视频中形成全局空间感知的基准
🧭 视觉语言模型空间推理评估
ByteDance Seed · Zhejiang University · National University of Singapore
提出全局时空视频理解基准,发现最强 VLMs 零样本得分仅 42.68(人类 79.08),长视频场景整合能力严重不足
📌 工作参考价值(4 点)
- 主要是学术贡献,对电商/推荐系统的直接工程借鉴有限。
- 若未来涉及 AR/VR 导购或机器人店内导航,长序列视觉空间整合的评估思路可参考。
- 合成视频数据生成策略可用于构建训练数据,辅助需要空间感知的视觉下游任务。
- 揭示了当前 VLM 在长时程多视角视觉融合上的短板,提示设计用户行为理解模型时不可忽视长期依赖性建模。